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Technical field 

The invention concerns a light-sensitive sensor unit for an electronic camera with a flat, 
grid-like arrangement of pixels in columns and rows. The pixels are individually addressable by 
means of an address decoder and are connected column-wise to read lines and can be read by 
means of a readout unit. 

More specifically, an image sensor with a pixel arrangement is described, which is 
suitable for performing the analog signal-processing steps of image preparation and evaluation in 
sensor components. A configurable digital logic control unit, in connection with a sensor array 
that can be accessed selectively and the device of several parallel signal paths, provides 
brightness information simultaneously for each color channel for each individual pixel. In this 
way, a color channel is derived directly from the pixel, and the two other channels are derived 
through interpolation of the directly adjacent pixels. This lays the foundation for various analog 
"on-chip 11 signal-processing functions. 

State of the art 

Several methods are used for recording color images with semiconductor sensors. The 
methods are distinguished on the basis of different fundamental sensor structures (CCD_IT, 
CCD_FT, CIT, CMOS_xy, ...), their addressing options (linear, random, multi-pixel access), 
their color filter technology (RGB, CMY, CMYW, ...) and arrangement (orthogonal, hexagonal), 
and shape 

(square pixel, rectangular pixel), and not least also by the input optical imaging system (beam 
splitter, monocular + filter wheel), or lighting system integrated in the system (e.g., stroboscopic 
color lighting). 

This method is similar to color capture, where an a priori monochromatic chip sensor is 
used for detection and the "color splitting" is performed by the "capture" of an image into 
several, simultaneously overlapping spectral channels. The calculation of the color value (i.e., 
the position of a color value in a three-d color space) is then performed, as a rule, outside of the 
sensor component. 

The simplest method for obtaining a color image is the use of a rotating filter wheel with 
different color filters in the optical beam path. This method also offers the best "cositing," i.e., 
agreement of measured color value and the location of the measured point, because one and the 
same image is used for the sequential capture in different color channels and causes the same 
errors in all channels. However, due to the achievable recording speed (limited by the filter 
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wheel speed and the necessity of generating several sequential color-separation images), this 
recording technology is less suitable for recording moving pictures. 

Similar reasoning applies for camera systems that operate with stroboscopic color 
lighting. However, such systems are sensitive to stray light and thus can only be used in the near 
field, as much as possible without stray light (e.g., endoscopy). 

The best color resolution for moving-picture analysis is achieved by camera systems with 
a three-chip arrangement, which divide each point of the object space into three or four sensor 
matrices, filter each optical channel separately, and thus lead to three or four different 
representations of the same pixel (object-specific) recorded simultaneously. 

Likewise, color scanner systems achieve very good results with a separate line for each /3 
color channel. These systems record a scene in a time-multiplexed way with sensors equipped 
with different color filters. 

The most cost-efficient realization of color sensors, but at the same time, the worst 
configuration in terms of quality, is the one-chip solution with color mosaic filters, for which the 
color pixels are formed by mounting a mosaic-like structured filter layer directly on the sensor 
cells. However, this realization is favored in nearly all low-cost applications due to the 
production costs. Here, under-scanning of the chrominance value is taken into account. 

Until now, the following color models have essentially been used for the numerical 
description of color values: 

• RGB color model 

• CMYK or CMY color model 

• HS V color model 

Each of these color models requires the representation of an image in different 
color-separation images, which must be overlapped and from which a color value for each 
location on the sensor must be allocated. For this purpose, e.g., color filters (CFA: color filter 
arrays) are mounted on the sensor and structured lithographically so that the signals of individual 
sensor points can be allocated to a "color channel." The signals of several sensor cells must then 
be considered relative to each other. 

Common color filter systems are the Bayer model, the Old Sony model, the SONY 
Mavica filter, the CMY model, the Hitachi model, and a generic RGB (staggered) model (see 
Figure 1 , in the described sequence from left to right). 

In nearly all cases, the fundamental sensor arrangement is an orthogonal matrix with I A 

essentially linear sensor cells. 

A measure for the quality of a mosaic model is the so-called "cositing," i.e., the quality, 
with which the calculated color-separation models can be brought into an overlapping state. If 
color points cannot be exactly overlapped, then color fringes result at the imaged edges, which 
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causes interference. These color fringes also result for cameras with filter wheels, when the scene 
changes so quickly that the objects have already shifted between the readout of the first and the 
next color-separation image. 

Known color filter systems are described, e.g., in the following articles: M. A. Kriss, 
"Color Filter Arrays for Digital Electronic Still Cameras," Proceedings of IS&T's 49th Annual 
Conference, pp. 272-278, 1995; Jaroslav Heynecek, "BCMD - An Improved Photosite Structure 
for High-Density Image Sensors," IEEE Transactions on Electron Devices, Vol. 38, No. 5, pp. 
101 1-1020, May 1991; John E. Greivenkamp, "Color-dependent optical prefilter for the 
suppression of aliasing artifacts," Applied Optics / Vol. 29, No. 5, Feb. 1990; and K. A. Parulski, 
"Color Filters and Processing Alternatives for One-Chip Cameras," IEEE Transactions on 
Electron Devices, Vol. ED-32, No. 8, pp. 1381-1389, August 1985. 

Description of the invention 

The invention is based on the task of configuring a light-sensitive sensor unit for an 
electronic, preferably color-capable camera with a flat arrangement of pixels such that color 
signal evaluation can be done more quickly and with increased quality. More specifically, the 
sensor unit should essentially use entirely the fast signal processing of HDRC image sensors, i.e., 
light-sensitive sensors, whose output characteristic lines have a logarithmic profile. Finally, a 
method for integrated signal preparation should be disclosed, which supports variable image 
sensor architecture and allows fast signal processing. 

The solution of the invention is disclosed in Claim 1, which describes a light-sensitive 15 
sensor unit. A method according to the invention is the object of Claim 20. Features that 
advantageously refine the concept of the invention are the objects of the subordinate claims. 

According to the invention, a light-sensitive sensor unit for an electronic camera 
comprises a flat, grid-like arrangement of pixels with columns and rows, where the pixels are 
individually addressable by an address decoder and connected column-wise to read lines and can 
be read by a readout unit such that in each column, there are at least two read lines, which are 
connected to pixels arranged in the corresponding column and also to a readout unit, so that a 
selected, central pixel can be read electrically independent of and isochronously with directly 
and/or indirectly adjacent pixels, which together form a group. 

For isochronous reading of pixels arranged in a column, it is necessary to have at least 
two separate read lines per column. Here, however, the term column refers not only to the strict 
linear case of vertical pixels, but also to pixels that are arranged slightly offset from one another, 
such as, for hexagonal grids. 

The method according to the invention for reading and evaluating pixels in the previously 
described light-sensitive sensor unit provides parallel addressing of at least one group of pixels, 
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which are arranged around a selected pixel, the center pixel, and reads isochronously the adjacent 
pixels according to color-class association with the center pixel by means of a readout unit. 

The idea of parallel addressing and processing of adjacent groups at a selected center 16 
pixel forms the basis of the method according to the invention. Thus, the method is used for 
disassociating a convolution operation (such convolution or filtering operations are commonly 
used in image processing and evaluation for increasing contrast and for smoothing) into a series 
of pixel accesses, for which the pixel groups that have equal weights corresponding to a 
convolution matrix are addressed in common and their output values are averaged during the 
readout process and then weighted. Processing of sensor output values is then done partially on 
the output line and partially in an output-connected analog or digital arithmetic unit, which 
performs an averaging of individual accesses on the image groups. 

The filter behavior of such active image sensors can be adapted to different convolution 
kernels by changing the extent of equally weighted image groups. Thus, for a sensor array with 
an orthogonal arrangement, the address decoder must be set separately in the x and y direction to 
different numbers for simultaneously addressing adjacent pixels. 

Brief description of the drawings 

The invention will be described in the following with reference to embodiments relative 
to the drawings without limiting the general concept of the invention. Shown are: 

Figure 1, overview of the classic color- filter arrangements of various manufacturers, 

Figure 2, pixel arrangements with central symmetry point, 

Figure 3, arrangement of pixels, which are each allocated to different primary colors, 
Figure 4, principle illustration of the profile according to the invention of the read lines 11 
per column, 

Figure 5, sequential illustration for changing the pixels, which are each read 
simultaneously, of one read group, 

Figure 6, pixel groups that can be read in parallel in a hexagonal grid arrangement, 
Figure 7, readout and processing unit for hexagonal pixel arrangement, and 
Figure 8, illustration of under-sampled grid points. 

Description of embodiments 

Figure 1 illustrates an overview of known classic color-filter arrangements, which have 
already been described in the description introduction. 

The readout and evaluation method is preferably based on a star-shaped arrangement of 
photo-sensitive, spatially packed pixels B as repeating, same-size sub-groupings (see Figure 2), 
which lie on a substrate representing a light-sensitive surface and which can be read 
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isochronously. The star-shaped arrangement is formed by a center Z, which corresponds to the 
center of gravity of an imaginary or real pixel, from which several "beams" S radiate outwards to 
real pixels lying on a regular grid such that the position of the individual grid points is selected 
with sensors arranged symmetrically and equidistant to the center. 

A color model for the light-sensitive sensor unit according to the invention is illustrated 
in Figure 3, which shows the pixels in a type of hexagonal arrangement, wherein the color 
associations for the primary colors red (R), green (G), and blue (B) alternate cyclically in the /8 
indicated way. The arrangement comes from the overlapping of two orthogonal grids, which are 
shifted relative to each other like a comb. 

Figure 4 illustrates a division according to the invention of two read lines per column for 
the case of an orthogonal grid arrangement (see figure on left) and also for the case of a 
hexagonal grid arrangement (see figure on right) of pixels. In the orthogonal case, each pixel is 
directly associated with two read lines, while in the orthogonal [sic; hexagonal] case, each pixel 
is associated with one read line due to the slightly shifted arrangement of pixels per column. 

For reading, the pixels are switched in an alternating way on the read line for 
even-numbered and odd-numbered rows, so that each read line detects only half of the pixels per 
column. 

In Figure 5, the pixels that are addressed isochronously for the readout process and 
simultaneously read are shaded. In this way, the pixel group in the first readout process (Figure 
5a), which is grouped cyclically about the center pixel B, is read out in common with the center 
pixel B. 

In an immediately following readout step, the pixel group next in the propagation 
direction (see arrow) is addressed around the center pixel R and read out, etc. (see Figures 5b and 
c). 

For the special case of a sensor array with hexagonal pixel arrangement, which is 
illustrated in Figure 6, the points described in the following are important for resolution control. 

With the use of separate column lines (xo, X9), for even-numbered and odd-numbered 
rows, there is the possibility of simultaneously addressing the center pixel and also the ring of 
the six next adjacent pixels. For this purpose, the adjacent rows above and below the center 
pixel, and also the two adjacent columns to the right and left are also addressed. The hexagonal 19 
design allows the use of identically weighed coefficients for all simultaneously detected pixels. 
The video signal that is set by the interaction of several amplifiers, reproduces the average 
brightness value across all active sensor pixels according to simulations. 

The video signals leading out from the array over the read lines (drawn in bold in the 
figure) are switched to several processing channels by means of a suitable multiplexer circuit M 
designed corresponding to the application and the cell arrangement. Another advantage of the 
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double configuration of read lines is that the number of MOS switches for the individual read 
lines and the associated node capacitance is halved. Thus, for the same driver power in 
individual pixels, the transient process is significantly shorter on the read line after the change of 
the addressed pixel rows. 

Color evaluation based on three spectral regions gives other multiplexer configurations 
like, e.g., for a low-pass filter of monochromatic image contents. Various designs of this 
multiplexer M can be produced through programming or, analogous to the gate array, through a 
common master structure with different unique features. 

Because the sensors used in the HDRC technology enable, in principle, a high readout 
rate through internal parallel construction, the readout signals can be read in analog and 
processed essentially in analog. The parallel post-processing will be discussed again at a later 
point. 

The semi-hexagonal arrangement requires that the odd-numbered intermediate rows (odd 
rows) are shifted to the left by a half pixel width relative to the even-numbered rows (even rows). 
The first row with the index 0 is thus moved against the edge. Through the use of two separated 
column lines for the same pixel addresses in odd and even rows, a uniform layout can be /10 
achieved for all pixels, so that, despite the orthogonal layout, the dense approximation of an 
actual hexagonal grid is guaranteed. 

The isochronous addressing of another pixel ring around the center pixel can only be 
maintained in the edge region without interference when the actual sensor array contains one row 
and two columns more per side than are used for the image representation (edge-value problem 
for filters). 

In Figure 7, the hexagonal pixel arrangement given in Figure 6 is expanded with a 
schematic readout and processing unit. The pixel arrangement enables the average voltage value 
of the buffered voltage outputs on the read lines to be determined. In the case of logarithmic 
input values, the geometric average of the input values is given with good approximation. 

A special decoder arrangement allows the selection of j of i rows. Another decoder 
arrangement, which controls a multiplexer, allows the selection of n of m lines through suitable 
switching. In Figure 7, e.g., 5 of the 10 illustrated lines are selected and switched to the 
weighting circuit CI, C5. 

Furthermore, there is a color channel weighting and processing unit V, so that the outputs 
of all isochronously addressed pixels are led outwards in parallel (to the array edge) and can be 
processed isochronously. 

In the previous example of the hexagonally oriented sensor, five lines are necessary in 
order to read seven sensor pixels isochronously. A multiplexer logic circuit M between the read 
line and the weighting network G supplies the corresponding addressed channels (for color 
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evaluation, typically five channels) to "its" amplifiers. The weighting network G here comprises 
six channels with somewhat different weighting coefficients (*Ci, *C6), of which five are 
simultaneously active (two "singles" here switched on *Ci and *Cs, 2 "pairs" here switched on 
*C2 and *C4, one "center" here switched on *C3). For use as a color-capable image sensor, the 
arrangement of the /1 1 

color mosaic filter must be configured corresponding to the sequence shown in Figure 3, which 
guarantees that directly adjacent pixels of the pixel of one color class belong exclusively to the 
other color classes. The channel amplifiers can be designed so they can be programmed online, 
in order to be able to adapt the weighting of the channels to the used mosaic filters. 

The special case "no color filter" leads to a low-pass filter for suitable adjustment of the 
coefficients. 

In another multiplexer stage, the six analog channels (two each for R, G, B) are switched 
such that up to two channels can be switched together. 

In the case of color signal processing, color-equal signals (*C r , *C g , *Ct>) are combined. 
A third average stage (*C y ), which combines all three color channels, generates a measure for the 
luminance of the selected "macropixel." 

The pixel arrangement according to the invention leads, in particular, to the following 
advantages: 

Good color image reproduction can be achieved with minimal color interference through 
improved "cositing": 

For the reproduction of image information on a display, the brightness values of all three 
color channels are required for each pixel. For image capture by sensors with color mosaic 
filters, the actually measured value is available for each pixel only for one color channel, the two 
other color values must be determined through interpolation from the adjacent pixels that exhibit 
the corresponding color masking. The ideal cositing mentioned here means that there is good 
agreement of the center-of-gravity position for the various color pixels referenced for the 
interpolation. 

In the case of an exact hexagonal array (row and column pitch do not have the same size), 111 
the center of gravity of each discrete color pixel is identical to the center of gravity of the two 
complementary, virtual color pixels calculated from the three directly adjacent pixels. In the case 
of an orthogonal array shifted relative to each other (semi-hexagonal, therefore identical row and 
column pitch), slight deviations (< 1/8 c with c = grid constant) are achieved. In contrast, for 
previously known color mosaic filters, the virtual center of gravity of the color n-tuple deviates 
by at least c V2 from the center of gravity of the individual color pixels. 

A complicated intermediate storage of analog values, which is required for calculating 
color information for known sensors, which only allow strict single-row addressing, is no longer 
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necessary. Pixels with identical column indices from even-numbered and odd-numbered rows are 
read by separate column lines and transmitted over a suitably flexible multiplexer structure to the 
video bus with six parallel channels (RGB for even-numbered and odd-numbered rows). For 
simultaneous addressing of up to three rows, the image information of three color pixel groups of 
the relevant star can be processed separately by separate readout channels (weighted, averaged). 

Under-sampling with simultaneous conversion from a hexagonal to orthogonal scanning 
grid is possible: a compression of the amount of data is important for the transmission of image 
information over channels with minimal bandwidth (e.g., image telephony) or for data storage. 
The pixel arrangement proposed according to the invention together with the multiplexer scheme 
enables an operating change of the sensor between compressed image data output (with the 
corresponding resolution losses) and full-picture resolution. For the compression of image data, 
e.g., in each even-numbered row, every second pixel can be addressed. In addition, for the actual 
color values determined by the corresponding color filter layer, the interpolated color values are 
output from the directly adjacent cells with the complementary color filter layers. In this case, 
the geometric arrangement of read pixels lies on an orthogonal sub-grid. For preventing typical /13 
under-sampling effects (aliasing), the signal must be low-pass filtered. This low-pass filtering 
should exhibit a coherence length that is greater than or equal to the half-grid spacing of the 
under-sampled grid. 

In Figure 8, the top pixel arrangement illustrates an example for such under-sampling, 
also called sub-sampling, with low-pass filtering. The black pixels represent the points of the 
under-sampled grid, the bright pixels show the pixels of the original grid included in the 
calculation of a new grid point. With the use of the "staggered hex RGB" pattern, this model of 
under-sampling leads again to a staggered hex RGB pattern with 1/4 the amount of data. Because 
all surface elements or pixels of the full matrix are considered, the Moire pattern can be 
significantly reduced relative to a simple under-sampling (through exclusive reading of the dark 
elements). 

The lower pixel arrangements represent an example for under-sampling with a grid 
transformation. From the staggered hex RGB pattern, the pattern becomes the orthogonal SONY 
MAVICA pattern through corresponding under-sampling. This transformation is especially 
meaningful when a display corresponding to the Sony Mavica color matrix is available. 
However, images are recorded with a staggered hex camera. 
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B Pixel 

Z Center of gravity 

S Radiation direction of a line of symmetry 
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V 



M 



G 



Multiplexer circuit 
Processing unit 
Weighting network 
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1. Light-sensitive sensor unit for an electronic camera with a flat, grid-like arrangement 
of pixels with columns and rows, where the pixels can be individually addressed by means of an 
address decoder and are connected column-wise to read lines and can be read by a readout unit, 
characterized in that in each column there are at least two read lines, which are connected to 
pixels arranged in corresponding columns and also to a readout unit, so that a selected, center 
pixel can be read electrically independent of and isochronously with directly and/or indirectly 
adjacent pixels, which together form a group. 

2. Light-sensitive sensor unit according to Claim 1, characterized in that the pixels have a 
voltage output that is connected to a read line, and signal averaging of the pixels read 
isochronously on one read line is performed. 

3. Light-sensitive sensor unit according to Claim 1 or 2, characterized in that individual 
pixels, which are arranged in a common column and are related by an equal weighting factor that 
is fixed for each pixel, can be read with a common read line. 

4. Light-sensitive sensor unit according to Claim 3, characterized in that each read line is 
connected to a weighting circuit, which performs the weighting of the read pixels. 

5. Light-sensitive sensor unit according to one of Claims 2-4, characterized in that the 

signal averaging corresponds to the geometric average value of brightness values for the use of /16 
pixels operating logarithmically. 

6. Light-sensitive sensor unit according to Claim 4 or 5, characterized in that the read 
lines are switched by an n of m multiplexer to the weighting circuit. 

7. Light-sensitive sensor unit according to one of Claims 4-6, characterized in that the 
weighting circuit exhibits a first weighting stage, which multiplies the read signal with the 
number of pixels connected to the read line, as well as with a factor that corresponds to the 
position of the pixels read isochronously in the group. 

8. Light-sensitive sensor unit according to one of Claims 2-7, characterized in that there 
is a multiplexer, which switches together the read lines of adjacent pixels that are preferably 
arranged concentrically around the center pixel and which enables an averaging of pixels 
arranged point-symmetrically to the center pixel. 

9. Light-sensitive sensor unit according to one of Claims 1-8, characterized in that, for 
the design of a color-capable camera the pixels are allocated to the primary colors red, green, and 
blue, the pixel arrangement and the color association is selected for individual pixels such that 
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the center pixel of a primary color is directly adjacent to pixels of the other primary colors, the 
pixels are arranged in a geometrically strict cyclical sequence relative to their color association, 
and the strict cyclical sequence of color association of adjacent pixels is achieved in all 
directions of symmetry, which is predetermined through the geometric arrangement of pixels. 

10. Light-sensitive sensor unit according to one of Claims 7-9, characterized in that the 111 
weighting circuit has a second weighting stage that performs a separate weighting according to 

color classes. 

11. Light-sensitive sensor unit according to Claim 10, characterized in that the signals of 
the weighted color classes are supplied separately from each other to a post-processing unit, in 
which the signals of the individual color classes are weighted and averaged in order to form a 
pixel group signal. 

12. Light-sensitive sensor unit according to one of Claims 1-11, characterized in that the 
pixels are arranged according to a hexagonal grid structure. 

13. Light-sensitive sensor unit according to Claim 12, characterized in that the pixels are 
designed and arranged such that the center of gravity of the center pixel coincides with a 
common center of gravity of pixels, which belong to the same color class and are directly 
adjacent to the center pixel. 

14. Light-sensitive sensor unit according to one of Claims 1-3, characterized in that the 
pixels have a square, rectangular, or hexagonal shape. 

15. Light-sensitive sensor unit according to Claim 14, characterized in that the 
arrangement of individual pixels corresponds to a grid structure, which results from an 
overlapping of two comb-shaped orthogonal grids shifted relative to each other. 

16. Light-sensitive sensor unit according to one of Claims 9-15, characterized in that 
there are different filter layers corresponding to the primary colors for color association of the 
pixels. 

17. Light-sensitive sensor unit according to one of Claims 1-16, characterized in that the /18 
sensor unit is assembled from HDRC sensors with pixels, whose output signals exhibit a 
logarithmic characteristic line. 

18. Light-sensitive sensor unit according to Claim 17, characterized in that the HDRC 
sensors are mounted on a carrier substrate and feature a reflection-reducing layer on their side 
facing the carrier substrate. 

19. Light-sensitive sensor unit according to one of Claims 12-18, characterized in that a 
pixel group comprises a sept-tuple, which is ordered over five column-shaped read lines and 
three row-shaped select lines. 

20. Method for reading and evaluating pixels in a light-sensitive sensor unit according to 
one of Claims 9-19, characterized in that a parallel, isochronous addressing of at least one group 
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of pixels is performed, where this group of pixels is arranged around a selected pixel, the center 
pixel, and a readout unit reads isochronously the adjacent pixels belonging to the center pixel 
according to color class. 

21. Method according to Claim 20, characterized in that the group comprises pixels that 
feature a common center of gravity, which coincides with the center of gravity of the center pixel 
or at least lies close to the center of gravity of the center pixel. 

22. Method according to Claim 20 or 21, characterized in that the pixel values of the /19 
common addressed image pixels are averaged during the readout process. 

23. Method according to one of Claims 20-22, characterized in that the pixels are 
addressed selectively by a digital decoder. 

24. Method according to Claim 23, characterized in that the size and number of groups of 
pixels to be addressed is fixed by the decoder. 

25. Method according to one of Claims 20-24, characterized in that for a pixel 
arrangement, where the pixels are divided into rows and columns, all pixels are addressed in a 
column or a row separately by a column or row line. 

26. Method according to Claim 25, characterized in that a targeted and separate 
addressing of column or row lines is performed by means of a decoder circuit. 

27. Method according to one of Claims 20-26, characterized in that for the addressing of 
another center pixel in a predetermined propagation direction, new pixels are to be addressed in 
the propagation direction and opposing pixels of the same color class are replaced. 

28. Method according to one of Claims 20-27, characterized in that for reading a center 
pixel, an arbitrary number of adjacent groups of pixels, which likewise feature a strict cyclical 
sequence in color association, are addressed and read also around the center pixel. 

29. Method according to one of Claims 20-28, characterized in that weighting performed /20 
with an adjustable value is performed during the readout process at a predetermined readout rate 

on each read line. 

30. Method according to Claim 29, characterized in that the weighting is performed 
corresponding to the number of pixels addressed or connected isochronously on one read line. 

31. Method according to Claim 29 or 30, characterized in that the weighting is performed 
separately for the color classes through adjustable coefficients. 
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(57) Abstract 

Disclosed is a light sensitive sensor unit for an electronic camera comprising a flat, gridlike arrangement of pixels with columns and 
lines. The pixels are individually addressable by means of an address decoder and are connected in columns to read wires and can be 
read by a readout unit. The invention is characterized in that at least two read wires are provided in each column and are connected to 
pixels located in each column in addition to a readout unit so that a selected central pixel can be isochronotisly and electrically read, both 
independently and together with the directly and/or indirectly adjacent pixels forming a group together. 

(57) Zusammenfassung 

Beschrieben wird eine lichtemprtndliche Sensoreinheit fur eine elektronische Kamera, mit einer flachigen, S pal ten und Zeilen 
aufweisenden, gitterfdrmigen Anordnung von Bildpunkten, die mittels eines Adressdecoders einzetn adressierbar sind und die spaltenweise 
mit Leseleitimgen verbunden und uber eine Ausleseeinheit auslesbar sind. Die Erfindung zeichnet sich dadurch aus, daB in jeder Spalte 
wenigstens zwei Leseleitungen vorgesehen sind, die mit, in der jeweiligen Spalte angeordneten Bildpunkten sowie mit einer Ausleseeinheit 
verbunden sind, so daft ein ausgewahlter, zentraler Bildpunkt elektrisch unabhangig von und mit den unmittelbar und/oder mittelbar 
benachbarten Bildpunkten, die zusammen eine Gruppe bilden, zeitgleich auslesbar ist. 
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Lichtempfindliche Sensoreinheit fur eine elektronische Kamera, mit einer flachigen 
Anordnung von Bildpunkten sowie Verfahren zum Auslesen der Bildpunkte zur Farb- 

signalverarbeitung 



Technisches Gebiet 

Die Erfindung bezieht sich auf eine Lichtempfindliche Sensoreinheit fur eine elektro- 
nische Kamera, mit einer flachigen, Spalten und Zeilen aufweisenden, gitterformigen 
Anordnung von Bildpunkten, die mittels eines Adressdecoders einzeln adressierbar 
sind und die spaltenweise mit Leseleitungen verbunden und uber eine Ausleseeinheit 
auslesbar sind. 

Insbesondere wird ein Bildsensor mit einer Bildpunkteanordnung beschrieben, die 
dazu geeignet ist, analoge Signalverarbeitungsschritte der Bildaufbereitung und 
-auswertung im Sensorbaustein durchzufiihren. Eine konfigurierbare digitale Ansteu- 
erlogik in Zusammenhang mit einem wahlfrei zugreifbaren Sensorarray und der Ein- 
richtung mehrerer paralleler Signalpfade macht die Helligkeitsinformation fur jeden 
Farbkanal fur jeden einzelnen Bildpunkt gleichzeitig verfiigbar. Ein Farbkanal wird 
dabei direkt aus dem Bildpunkt, die beiden anderen durch Interpolation aus den di- 
rekten Nachbarn abgeleitet. Dies legt die Grundlage fur verschiedene analoge „0n- 
Chip"-Signalverarbeitungsfunktionen. 

Stand der Technik 

Zur Aufnahme von Farbbildern mit Halbleiter-Sensoren werden mehrere Verfahren 
angewandt. Die Verfahren unterscheiden sich aufgrund unterschiedlicher zugrunde- 
liegender Sensorstrukturen (CCDJT, CCD_FT, CIT, CMOS_xy ...), ihrer Adressie- 
rungsmoglichkeiten (linear-, random-, Multipixelacces), ihrer Farbfiltertechnik (RGB, 
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CMY, CMYW ...) -Anordnung (orthogonal, hexagonal) und Form (Quadrat-Pixel, 
Rechteck-Pixel) und nicht zuletzt auch durch das vorgeschaltete optische Abbii- 
dungssystem (Strahlteiler, Monocular+Filterrad) Oder im System integriertes Be- 
leuchtungssystem (z.B. stroboskopisch farbige Beleuchtung). 

Gemeinsam ist diesen Verfahren der Farberfassung, daft zur Detektion ein a priori 
monochromatischer Chipsensor verwendet wird, wdbei die „Farbaufspaltung durch 
die „Erfassung n eines Bildes in mehreren, z.T. uberlappenden spektralen Kanalen 
durchgefuhrt wird. Die Berechnung des Farbwertes (d.h. die Lage eines Farbwertes 
in einem 3dim. Farbraum) erfolgt anschlieftend i.d;R. aufierhalb des Sensor- 
Bausteins. 

Die einfachste Methode, ein Farbbild zu gewinnea ist die Verwendung eines rotie- 
renden Filterrades mit den unterschiedlichen Farbfiltern im optischen Strahlengang. 
Dieses Verfahren bietet auch das beste n Cositing", d.h. Ubereinstimmung von ge- 
messenem Farbwert und dem Ort des MeRpunktes, da ein und derselbe Bildpunkt 
fur die sequentielle Erfassung in verschiedenen Farbkanalen verwendet wird und 
sich Fehler in alien Kanalen gleich auswirken. Diese Aufnahmetechnik ist jedoch 
aufgrund der damit erreichbaren Aufnahmegeschwindigkeit (begrenzt durch die Fil- 
terrad-Geschwindigkeit und die Notwendigkeit, mehrere Farba'uszuge sequentiell zu 
erstellen) weniger gut fur die Bewegtbildaufnahme geeignet. 

Ahnliches gilt fur Kamerasysteme, welche mit stroboskopischer farbiger Beleuchtung 
arbeiten. Derartige Systeme sind jedoch fremdlichtempfindlich und deshalb nur im 
Nahfeld, moglichst ohne Fremdlichl einsetzbar. (Bspw. Endoskopie). 

Die beste Farbauflosung bei der Bewegtbildanalyse erreichen Kamerasysteme mit 3- 
Chip - Anordnung, welche jeden Punkt des Objektraumes auf drei od. 4 Sensorma- 
trizen verteilen, jeden optischen Kanal separat filtern und so zu drei bzw. vier unter- 
schiedlichen zeitgleich aufgezeichneten Repr&sentationen desselben Bildpunktes 
(objektbezogen) fuhren. 
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Ebenfalls sehr gute Ergebnisse erreichen Farbscannersysteme mit je einer getrenn- 
ten Zeile fur jeden Farbkanal, welche mit mehreren, mit unterschiedlichen Farbfiltern 
belegten Sensoren eine Szene im Zeitmultiplex aufnehmen 

Die kostengunstigste Realisierung von Farbsensoren, gleichzeitig aber qualitativ 
minderwertigste Ausfuhrung ist die Einchipldsung mit Farbmosaikfiltern, bei der die 
Farbbildpunkte durch das Aufbringen einer mosaikartig strukturierten Filterschicht 
unmittelbar auf die Sensorzellen gebildet werden. Diese Realisierung wird aber auf- 
grund der Herstellkosten in nahezu alien Niedrigpreisanwendungen favorisiert. Dabei 
wird eine Unterabtastung des Chrominanzwertes in Kauf genommen. 

Fur die numerische Beschreibung von Farbwerten werden bislang im wesentlichen 
folgende Farbmodelle verwendet: 

• RGB-Farbmodell 

• CMYK- Oder CMY- Farbmodell 

• HSV-Farbmodell 

Jedes dieser Farbmodelle erfordert die Representation eines Abbildes in verschiede- 
nen Farbauszugsbildern, die zur Deckung gebracht werden mussen und aus wel- 
chen ein Farbwert fur jeden Ortspunkt auf dem Sensor zugeordnet werden mu(J. Da- 
zu werden, wie o.g. ,z.B. Farbfilter (CFA color filter arrays) auf den Sensor aufge- 
bracht und lithografisch strukturiert, so dafl die Signale einzelner Sensorpunkte ei- 
nem ..Farbkanal" zugeordnet werden konnen. Die Signale mehrerer Sensorzellen 
mussen dann miteinander verrechnet werden. 

Gangige Farbfiltersysteme sind das Bayer-Muster, das Old Sony Muster, das SONY 
Mavica-Filter, das CMY-Muster, das Hitatchi-Muster und ein generisches 
RGB(Staggered) Muster (siehe Figur 1. in der beschriebenen Reihenfolge von links 
nach rechts). 
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Die zugrundeliegende Sensoranordnung ist in nahezu alien Fallen eine orthogonale 
Matrix mit weitgehend linear arbeitenden Sensorzellen. 

Ein Ma(i fur die Gute eines Mosaikmusters ist das sog. ..Cositing" d.h. die Gute. mit 
der die errechneten Farbauszugsmuster zur Deckung gebracht werdenkonnen. Sind 
Farbpunkte nicht exakt zur Deckung zu bringen, so resultieren bei der Abbildung von 
Kanten Farbsaume, die sich storend auswirken. Diese Farbsaume entstehen auch 
bei Karneras mit Filterrad ; wenn sich die Szene so schnell andert, daft sich zwischen 
der Auslesung des ersten und des darauffolgenden Farbauszuges bereits eine Ver- 
schiebung von Objekten ergeben hat. 

Bekannte Farbfiltersystem sind bspw. in den nachfolgenden Beitragen beschrieben: 
M.A.Kriss/'Color Filter Arrays for Digital Electronic Still Cameras" .Proceedings of 
IS&T's 49 th Annual Conference, Seite 272-278, 1995; Jaroslav Heynecek, BCMD-An 
Improved Photosite Structure for High-Density Image Sensors, IEEE Transaction on 
Electron Devices, Vol 38, No.5, Seite 1011-1020, Mai 1991; John E. Greivenkamp, „ 
Color dependent optical prefilter for the suppression of aliasing artifacts", Applied 
Optics / Vol. 29, No. 5, Feb. 1990; und KAParulski, „Color Filters and Processing 
Alternatives for One-Chip Cameras 11 , IEEE Transaction on Efectron Devices, Vol. ED- 
32, No.8, Seite 1381-1389. August 1985. 

Darstellunq der Erfindunq 

Der Erfindung liegt die Aufgabe zugrunde, eine lichtempfindliche Sensoreinheit fur 
eine elektronische, vorzugsweise farbfahige Kamera mit einer flachigen Anordnung 
von Bildpunkten derart auszugestalten, daft die Farbsignalauswertung schneller und 
mit erhohter Qualitat moglich sein soil. Insbesondere soli die Sensoreinheit die 
schnelle Signalverarbeitung von HDRC-Bildsensoren, also lichtempfindlichen Senso- 
ren, deren Ausgangskennlinie logarithmisch verlauft, weitgehend vollstandig nutzen. 
Schlielilich soil ein Verfahren zur integrierten Signalaufbereitung angegeben werden, 
welches sich auf eine variable Bildsensorarchitektur abstutzt und eine schnelle Si- 
gnalverarbeitung erlaubt. 
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Die Ldsung der Erfindung ist im Anspruch 1 angegeben, in dem eine lichtempfindli- 
che Sensoreinheit beschrieben ist. Ein erfindungsgemafies Verfahren ist Gegen- 
stand des Anspruchs 20. Den Erfindungsgedanken vorteilhaft weiterbildende Merk- 
male sind Gegenstand der Unteranspruche. 

Erfindungsgemali ist eine lichtempfindliche Sensoreinheit fur eine elektronische 
Kamera, mit einer flachigen, Spalten und Zeilen aufweisenden, gitterfdrmigen Anord- 
nung von Bildpunkten, die mittels eines Adressdecoders einzeln adressierbar sind 
und die spaltenweise mit Leseleitungen verbunden und uber eine Ausleseeinheit 
auslesbar sind, derart ausgebildet. daft in jeder Spalte wenigstens zwei Leseleitun- 
gen vorgesehen sind, die mit, in der jeweiligen Spalte angeordneten Bildpunkten 
sowie mit einer Ausleseeinheit verbunden sind, so dafS ein ausgewahlter, zentraler 
Bildpunkt elektrisch unabhangig von und zeitgleich mit den unmittelbar und/oder 
mittelbar benachbarten Bildpunkten, die zusammen eine Gruppe bilden ; auslesbar 
ist. 

Zur zeitgleichen Auslesung von Bildpunkten, die in einer Spalte angeordnet sind. ist 
es notig, wenigstens zwei getrennte Leseleitungen pro Spalte vorzusehen. Unter 
dem Begnff Spalte ist hierbei jedoch nicht nur der streng lineare Falle von senkrecht 
untereinander angeordneten Bildpunkten gemeint, sondern es konnen auch Bild- 
punkt leicht versetzt untereinander angeordnet sein, die zu einer Spalte zu rechnen 
sind, wie es beispielsweise bei hexagonalen Gittem der Fall ist. 

Das erfindungsgemafie Verfahren zum Auslesen- und Auswerten von Bildpunkten in 
der vorstehend beschriebenen lichtempfindlichen Sensoreinheit sieht eine 
parallele Adressierung von wenigstens einer Gruppe von Bildpunkten vor, die um 
einen ausgewahlten Bildpunkt, dem zentralen Bildpunkt angeordnet ist, und liest 
zeitgleich mittels einer Ausleseeinheit die benachbarten Bildpunkte nach Farbklas- 
senzugehdrigkeit mit dem zentralen Bildpunkt aus. 
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Dem erfindungsgemafJen Verfahren liegt die Idee der parallelen Adressierung und 
Verarbeitung von Nachbarschaftsgruppen zu einem ausgewahlten zentralen Bild- 
punkt zugrunde. Das Verfahrens bedient sich dabei einer Zerlegung einer Faltungs- 
operation - dertige Faltungs- bzw. Filteroperationen werden in der Bildverarbeitung 
und -auswertung haufig zur Kontrastverstarkung und zur Glattung benutzt - in eine 
Reihe von Bildpunktezugriffen, bei denen die entsprechend einer Faltungsmatrix 
gteichgewichteten Bildpunktgruppen jeweils gemeinsam adressiert werden und deren 
Ausgangswerte bereits wahrend des Auslesevorgangs gemittelt und nachfolgend 
gewichtet werden. Eine Verarbeitung der Sensorausgangswerte erfolgt dann teilwei- 
se auf der Ausgangsleitung, teilweise in einer nachgeschatteten analogen Oder digi- 
talen Arithmetikeinheit. die eine Mittelung der Einzelzugriffe auf die Bildpunktgruppen 
durchfuhrt. 

Das Filterverhalten solcher aktiven Bildpunktsensoren kann durch Veranderung der 
Ausdehnung gleichgewichteter Bildpunktgruppen an verschiedene Faltungskerne 
angepafit werden. Fur ein Sensorarray mit orthogonaler Anordnung mussen dazu die 
Adressdekoder in x- und y-Richtung getrennt auf die unterschiedliche Anzahl gleich- 
zeitig zu adressierender Bildpunkte-Nachbarn eingestellt werden. 

Kurze Beschreibunq der Zeichnunqen 

Die Erfindung wird nachstehend ohne Beschrankung des allgemeinen Erfindungsge- 
dankens anhand von Ausfuhrungsbeispielen unter Bezugnahme auf die Zeichnungen 
beschrieben. Es zeigen: 

Fig. 1 Ubersicht der klassischen Color Filteranordnungen verschiedender 

Hersteller, 

Fig. 2 Bildpunktanordnungen mit zentralem Symmetriepunkt, 

Fig. 3 Anordnung von Bildpunkten, die jeweils den unterschiedlichen Grund- 
farben zugeodnet sind, 
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Fig. 4 Prinzipdarstellung des erfindungsgemafJen Verlauf der Leseleitungen 

pro Spaite, 

Fig. 5 Sequenzdarstellung zum Wechsel der Bildpunkte einer Auslesegruppe, 

die jeweils zeitgleich ausgelesen werden, 

Fig. 6 parallelauslesbare Bildpunktegruppe in einer hexagonalen Gitteranord- 

nung, 

Fig. 7 Auslese- und Verarbeitungseinheit fur hexagonale Bildpunkteanord- 

nung, und 

Fig. 8 Darstellung unterabgetasteter Gitterpunkte. 

Darstellunq von Ausfuhrunqsbeispieten 

Figur 1 ist zur Darstellung der Ubersicht bekannter klassischer Color Fiiteranordnu- 
gen bereits in der Beschreibungseinleitung beschrieben worden. 

Dem erfindungsgemafien Auslese- und Auswerteverfahren liegt vorzugsweise eine 
sternfbrmige Anordnung fotoennpfindlicher, raumlich zusammenhandender Bild- 
punkte B als wiederkehrende, gleichgrofie Untergruppierungen zugrunde (siehe Fi- 
gur 2), welche auf einem Substrat liegen, die lichtempfindliche Flache darstellen und 
. zeitgleich ausgelesen werden kbnnen. Die sternfbrmige Anordnung wird gebildet 
durch ein Zentrum Z, das dem Schwerpunkt eines fiktiven oder realen Bildpunktes 
entspricht, von dem mehreren It Strahlen M S zu realen, auf einem regelmafiigen Gitter 
liegenden Bildpunkten derart ausgehen, daft die Lage der einzelnen Gitterpunkte mit 
Sensoren symmetrisch und aquidistant zum Zentrum gewahlt wird. 

Ein Farbmuster fur die erfindungsgemafie, lichtempfindliche Sensoreinheit ist in Figur 
3 dargestellt, das die Bildpunkte in einer Art hexagonalen Anordnung zeigt, wobei 
sich die Farbzugehdrigkeiten fur die Grundfarben Rot (R), Grun (G) upd Blau (B) in 
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der angegebenen Weise zyklisch abwechseln. Die Anordnung enstammt der Uberla- 
gerung zweier orthogonaler Gitter, die kammartig ineinander verschoben sind. 

In Figur 4 ist eine erfindungsgemalSe Zuteilung von zwei Lesejeitungen pro Spalte fur 
den Fall einer orthogonalen Gitteranordnung (siehe linke Bilddarstellung) sowie fur 
den Fall einer hexagonalen Gitteranordnung (siehe rechte Bilddarstellung) von Bild- 
punkten dargestellt. Im orthogonalen Fall ist jeder Bildpunkt direkt mit jeweils zwei 
Leseleitungen verbunden, wohingegen im orthogonalen Fall durch die leicht ver- 
setzte Anordnung von Bildpunkten pro Spalte jeder Bilpunkt mit einer Leseleitung 
verbunden ist. 

Zum Auslesen werden die Bildpunkte abwechseind auf die Leseleitung fur geradzah- 
lige und ungeradzahlige Zeilennummern geschaltet, so da(3 jede Leseleitung jeweils 
nur die Halfte der Bildpunkte pro Spalte erfafit. 

In Figur 5 sind jeweils die Bildpunkte, die fur den Auslesevorgang zeitgleich adres- 
siert sind und simultan ausgelesen werden, schattiert hinterlegt. So wird die Bild- 
punktegruppe im ersten Auslesevorgang (Fig. 5 a), die sich zyklisch urn den zentra- 
len Bildpunkt B gruppiert, gemeinsam mir dem zentralen Bildpunkt B ausgelesen. 

In einem unmittelbar darauffolgenden Ausleseschritt wird die in der Prppagations- 
richtung (siehe Pfeil) nachstgelegene Bildpunktegruppe urn den zentralen Bildpunkt 
R adressiert und ausgelesen u.s.w. (siehe die Figuren 5 b und c). 

Fur den speziellen Fall eines Sensorarrays mit hexagonaler Bildpunkteanordnung, 
die in Figur 6 dargestellt ist, sind die im folgenden beschriebenen Punkte fur eine 
Auflosungssteuerung wichtig. 

Mit der Verwendung von getrennten Spaltenleitungen (x 0 , ... t xg) fur gerad- und unge- 
radzahlige Zeilen entsteht die Moglichkeit, gleichzeitig mit einem zentralen Bildpunkt 
den Ring der 6 nachsten Nachbarn zu adressieren. Dazu sind jeweils die benach- 
barte Zeile uber und unter dem Zentralbildpunkt, sowie jeweils zwei Nachbarspalten 



BNSCXDCID: <WO 9flia?70Ai> I ^ 



WO 98/19270 



9 



PCT/DE97/02527 



rechts und links zusatzlich zu adressieren. Der hexagonale Aufbau erlaubt die Ver- 
wendung identischer Gewichtungskoeffizienten fur alle gleichzeitig erfafiten Bild- 
punkte. Das Videosignal, das sich durch das Zusammenwirken mehrerer Verstarker 
einstellt, gibt nach Simulationen den mittleren Helligkeitswert uber alle aktivierten 
aktiven Sensor-Bildpunkte wieder. 

Die uber die Ausleseleitungen ( in der Figur fett gedruckt) aus dem Array herausge- 
fuhrten Videosignale sind mittels einer geeigneten, fur die Anwendung und die Zel- 
lanordnung entsprechend ausgelegten Multiplexerschaltung.M auf mehrere Verar- 
beitungskanale durchzuschalten. Ein weiterer Vorteil der doppelten Auslegung der 
Ausleseleitung ergibt sich aus der fuer die einzelne Ausleseleitung halbierten Anzahl 
der MOS-Schalter und der damit verbundenen Knotenkapazitaeten. Darnit faeltt bei 
gleicher Treiberleistung im einzelnen Bildpunkt der Einschwingvorgang auf der 
Leseleitung nach dem Wechsel der adressierten Bildzeile deutlich kuerzer aus. 

Fur eine auf drei Spektralbereichen basierende Farbauswertung ergeben sich somit 
andere Mulitplexerkonfigurationen als z.B. fur eine Tiefpassfilterung monochromer 
Bildinhalte. Verschiedene Auslegungen dieses Multiplexers M kdnnen durch Pro- 
grammierung Oder analog zu den Gate-Arrays durch eine gemeinsame Masterstruk- 
tur mit unterschiedlichen Personalisierungen hergestellt werden. 

Da die in der HDRC-Technik verwendeten Sensoren prinzipiell eine hohe Auslese- 
rate ermoglichen, konnen durch interne Parallelisierung die Auslesesignale analog 
ausgelesen und analog weitgehend verarbeitet werden. Auf die parallele Weiterver- 
arbeitung wird noch an spaterer Stelle eingegangen. 

Die quasi hexagonale Anordnung bedingt, daft die ungeradzahligen Zwischenzeilen 
odd-rows) um eine halbe Bildpunktbreite gegen die geradzahligen Reihen 
(even-rows) nach links versetzt sind. Die erste Zeile mit der Indizierung 0 ist also ge- 
gen die Kante eingezogen. Durch den Einsatz von zwei getrennten Spaltenleitungen 
fur die gleichen Bildpunktadressen in odd- und even-rows kann ein einheitliches Lay- 
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out fur alle Bildpunkte erzielt werden, damit ist trotz orthogonalem Layout die dichte 
Annaherung an ein echtes hexagonales Gitter gewahrleistet. 

Die zeitgleiche Adressierung von einem weiteren Bildpunkt-Ringen urn den zentralen 
Bildpunkt kann im Randbereich nur dann stdrungsfrei aufrechterhalten werden, wenn 
das tatsachliche Sensorarray jeweils 1 Zeilen und 2 Spalten pro Seite mehr enthalt, 
als fur die Bilddarsteliung verwendet werden (Randwertproblem bei Filtern). 

In Figur 7 ist die in Figur 6 angegebene hexagonale Bildpunkteanordnung erweitert 
mit einer schematisierten Auslese- und Verarbeitungseinheit dargestellt. Die 
Bilpunkteanordnung ermdglicht eine Spannungsmittelwertbildung der gepufferten 
Spannungsausgange auf den Leseleitungen. Im Falle logarithmischer Eingangswerte 
ergibt sich mit guter Naherung das geometrische Mittel der Eingangswerte. 

Eine spezielle Dekoderanordnung erlaubt die Selektion von j aus i Zeilen. Eine weite- 
re Dekoderanordnung, die einen Multiplexer steuert, erlaubt durch geeignete. Be- 
schaltung die Auswahl von n aus m Leitungen. In Figur 7 werden, bspw. 5 der 10 
dargestellten Leitungen ausgewahlt und auf die Gewichtsschaltung C1,... , C5 aufge- 
schaltet. 

Ferner ist eine Farbkanalgewichtungs und -Verarbeitungseinheit V yorgesehen, so 
dafJ die Ausgange aller zeitgleich adressierter Bildpunkte parallel nach auften (zum 
Arrayrand) gefuhrt werden und zeitgleich verarbeitet werden kbnnen. 

In dem vorgegebenen Beispiel des hexagonal orientierten Sensors sind 5 Leitungen 
notig urn 7 Sensorpixel zeitgleich auszulesen. Eine Multiplexerlogik M zwischen 
Ausleseleitung und Gewichtungsnetzwerk G fuhrt die jeweils adressierten Kanalen 
(bei Farbauswertung typischenA/eise 5 Kanale) Jhren" Verstarkern zu. Das Gewich- 
tungsnetzwerk G besteht hierbei aus 6 Kanalen mit z;T. unterschiedlichen Gewich- 
tungskoeffizienten (*Ci...*C6), von denen jeweils 5 gleichzeitig aktiv sind (2 t) singles'\ 
hier auf *Ci und *Cs geschaltet, 2 ..pairs" hier auf *C2 und *C 4 geschaltet, 1 ..center" 
hier auf *C 3 geschaltet). Bei Verwendung als farbfahiger Bildsensor muli die 
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Anordnung des Farbmosaikfilters entsprechend der in Figur 3 gezeigten Abfolge ge- 
staltet sein, die gewahrleistet, dass die direkten Nachbarn des Bildpunktes einer 
Farbklasse ausschliesslich zu den anderen Farbklassen gehoren.Die Kanalverstar- 
ker kbnnen online programmierbar ausgefuhrt werden, um die Gewichtung der Ka- 
nale den verwendeten Mosaicfiltern anpassen zu konnen. 

Der Sonderfall n keine Farbfilter" fuhrt bei geeigneter-Einstelluhg der Koeffizienten zu 
einer Tiefpassfilterung. 

In einer weiteren Muitiplexerstufe werden die 6 analogen Kanalen (je 2 fur R,G,B) 
derart verschaltet, daft jeweils bis zu zwei Kanale zusammengeschaltet werden kon- 
nen. 

Im Fall der Farbsignalverarbeitung werden jeweils farbgleiche Signals (*C r? *C g , *C b ) 
zusammengefasst. Eine dritte Mittelungsstufe (*C y ) die alle drei Farbkanale zu- 
sammenfasst erzeugt ein MafJ fur die Luminanz des angewahlten lf Makropixels". 

Die erfindungsgemafie Bildpunkte-Anordnung fuhrt insbesondere zu folgenden Vor- 
teilen: 

Eine gute Farbbildwiedergabe kann mit geringen Farbstorungen durch verbessertes 
..Cositing" erreicht werden: 

Fur die Wiedergabe der Bildinformationen auf einem Display sind die Helligkeitswerte 
alter drei Farbkanale fur jeden Bildpunkt erforderlich. Bei der Bilderfassung durch 
Sensoren mit Farb-Mosaikfiltern steht fur jeden Bildpunkt nur fur einen Farbkanal der 
tatsachlich gemessene Wert zur Verfugung, die beiden anderen Farbwerte mussen 
durch Interpolation aus benachbarten Bildpunkten, die die entsprechende Farbmas- 
kierung aufweisen, ermittelt werden. Das hier angesprochene ideale Cositing be- 
deutet, dafi eine gute Ubereinstimmung der Schwerpunktlage der fur die Interpolati- 
on herangezogenen verschiedenfarbigen Bildpunkte besteht. 

Im Fall eines exakt hexagonalen Arrays (Zeilen- und Spaltenpitch sind nicht gleich 
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grofi) ist cler Schwerpunkt jedes diskreten Farbbildpunktes identisch mit den 
Schwerpunkten der beiden komplementarea aus jeweils drei direkte benachbarten 
Pixeln berechneten, virtuellen Farbbildpunkte. Im Fall eines ineinadergeschobenen 
orthogonalen Array (quasi hexagonal, dafur identische Zeilen- und Spaltenpitches) 
werden geringe Abweichungen (< 1/8 c mit c=Gitterkonstante) erreicht. Im Gegen- 
satz dazu weicht bei bisher bekannten Farbmosaikfiltern der virtuelle Schwerpunkt 
des Farb-n-Tupels um mind. cv'2 von dem Schwerpunkt der einzelnen Farbbild 
punkte ab. 

Eine aufwendige Zwischenspeicherung analoger Werte, die bei den bekannten Sen- 
soren, die nur eine streng einzeilige Adressierungen erlauben, zur Berechnung von 
Farbinformationen zwingend erforderlich ist, ist nicht mehr ndtig. Bildpunkte mit iden- 
tischen Spaltenindizes von gerad- und ungeradzahligen Zeilen werden jeweils uber 
eigene Spaltenleitungen ausgelesen und uber eine geeignete, flexible Multiplexer- 
struktur auf den Videobus mit 6 parallelen Kanalen (RGB jeweils fur gerad- oder un- 
geradzahlige Zeilen) ubertragen. Bei einer gleichzeitigen Adressierung von bis zu 3 
Zeilen konnen somit die Bildinformation der 3 Farbpixelgruppierungen des betreffen- 
den Sterns getrennt uber eigene Auslesekanale bearbeitet (gewichtet, gemittelt) 
werden. 

Eine Unterabtastung mit gleichzeitiger Umsetzung von hexagonale auf orthogonale 
Abtastgitter ist mdglich: Eine Kompression der Datenmengen ist fur die Ubertragung 
von Bildinformationen uber Kanale mit geringerer Bandbreite (z.B. Bildtelephonie) 
oder fur die Datenspeicherung wichtig. Die erfindungsgemafl vorgestellte Bildpunk- 
tanordnung zusammen mit dem Multiplexerschema ermoglicht einen Betriebswech- 
sel des Sensors zwischen komprimierter Bilddatenausgabe (mit den entsprechenden 
Auflosungsverlusten) und der Vollbildaufldsung. Fur die Kompression der Bilddaten 
kann z.B. in jeder geradzahligen Zeile jeder 2. Bildpunkt adressiert werden. Zusatz- 
lich zu den durch die jeweilige Farbfilterschicht ermittelten tatsachlichen Farbwerten 
werden die interpolierten Farbwerte aus den direkt anschliessenden Zeilen mit den 
komplementaren Farbfilterbeschichtungen ausgegeben. Die geometrische Anordung 
der ausgelesen Bildpunkte liegt in diesem Fall auf einem orthogonalen Untergitter. . 
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Zur Vermeidung typischer Unterabtastungseffekte (aliasing) mud das Signal tiefpaft- 
gefiltert werden. Diese TiefpafJfilterung sollte eine Koharenzlange aufweisen, die 
grofier Oder gleich dem halben Gitterabstand des unterabgetasteten Gitters ist. 

In Figur 8 obere Bildpunkteanordnung ist eine Beispiel fur eine. derartige Unterabta- 
stung auch Subsampling genannt mit Tiefpassfilterong dargestellt. Die schwarzen 
Bildpunkte stellen die Punkte des unterabgetasteten Gitters dar, die hellen Bild- 
punkte zeigen die jeweils in die Bewertung eines neuen Gitterpunktes einbezogenen 
Bildpunkte des ursprunglichen Gitters. Bei Anwendung des .staggered hex RGB"- 
Patterns fuhrt diese Form der Unterabtastung erneut auf ein staggered hex RGB 
Pattern mit 1/4 der Datenmenge, Da alle Flachenelemente bzw. Bildpunkte der vollen 
Matrix berucksichtigt werden, ist die Moire-Neigung gegenuber einer einfachen Un- 
terabtastung (durch exklusives Auslesen der dunklen Elemente) deutlich verringert 

Die untere Bildpunktanordnungen stellen ein Beispiel fur eine Unterabtastung mit 
einer Gittertransformation dar. Aus dem staggered hex RGB-Pattern wird durch Un- 
terabtastung ein Pattern entsprechend dem orthogonalen SONY MAVICA Pattern. 
Diese Transformation ist besonders dann sinnvoll, wenn ein Display entsprechend 
der Sony Mavica-Farbmatrix zur Verfugung steht. Bilder jedoch mit einer staggered 
hex Kamera aufgenommen worden sind. 
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Bezugszeichenliste 



B Bildpunkt 

Z Zentrum eines Schwerpunktes 

S Strahlrichtung einer Symmetrielinie 

M Multiplexerschaltung 

V Verarbeitungseinheit 

G Gewichtungsnetzwerk 
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Patentanspruche 



1 . Lichtempfindliche Sensoreinheit fur eine elektronische Kamera, 

mit einer flachigen, Spalten und Zeilen aufweisenden, gitterfbrmigen Anordnung von 
Bildpunkten, die mittels eines Adressdecoders einzeln adressierbar sind und die 
spaltenweise mit Leseleitungen verbunden und uber eine Ausleseeinheit auslesbar 
sind, 

dadurch gekennzeichnet. daft in jeder Spalte wenigstens zwei Leseleitungen vorge- 
sehen sind, die mit, in der jeweiligen Spalte angeordneten Bildpunkten sowie mit 
einer Ausleseeinheit verbunden sind, so daft em ausgewahlter, zentraler Bildpunkt 
elektrisch unabhangig von und zeitgleich mit den unmittelbar und/oder mittelbar ben- 
achbarten Bildpunkten, die zusammen eine Gruppe bilden, auslesbar ist. 

2. Lichtempfindliche Sensoreinheit nach Anspruch 1 , 

dadurch gekennzeichnet, daft die Bildpunkte einen Spannungsausgang aufweisen, 
der mit einer Leseleitung verbunden ist, und 

daft eine Signalmittelung aer zeitgleich auf einer Leseleitung ausgelesenen Bild- 
punkte erfolgt. 

3. Lichtempfindliche Sensoreinheit nach Anspruch 1 oder 2, 

dadurch gekennzeichnet. dafi einzelne Bildpunkte, die in einer gemeinsamen Spalte 
angeordnet sind und uber einen gleichen Gewichtungsfaktor verfugen, der fur jeden 
Bildpunkt festgelegt ist, mit einer gemeinsamen Leseleitung auslesbar sind. 

4. Lichtempfindliche Sensoreinheit nach Anspruch 3, 

dadurch gekennzeichnet, daft jede Leseleitung mit einer Gewichtungsschaltung 
verbunden ist, in der die Gewichtung der ausgelesenen Bildpunkte erfolgt. 

5. Lichtempfindliche Sensoreinheit nach einem der Anspruche 2 bis 4, 
dadurch gekennzeichnet, daft die Signalmittelung bei Verwendung logarithmisch 
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arbeitender Bildpunkte dem geometrischen Mittelwert der Helligkeiten entspricht. 

6. Lichtempfindliche Sensoreinheit nach Anspruch 4 oder 5, 

dadurch gekennzeichnet, daft die Leseleitungen uber einen n aus m Multiplexer 
auf die Gewichtungsschaltung durchgeschaltet werden. 

7. Lichtempfindliche Sensoreinheit nach einem der Anspruche 4 bis 6, 
dadurch gekennzeichnet, daft die Gewichtungsschaltung eine erste 
Gewichtungsstufe aufweist, in der eine Multipiikation des ausgelesenen Signals mit 
der Anzahl der auf der Leseleitung angeschlossenen Bildpunkte sowie mit einem 
Faktor, der der Stellung der in der Gruppe zeitgleich ausgelesener Bildpunkte ent- 
spricht, erfolgt. 

8. Lichtempfindliche Sensoreinheit nach einem der Anspruche 2 bis 7, 
dadurch gekennzeichnet, daft ein Multiplexer vorgesehen ist, der die Leseleitungen 
der benachbart, vorzugsweise konzentrisch urn den zentralen Bildpunkt gelegenen 
Bildpunkte zusammenschaltet und eine Mittelung punktsymmetrisch zum zentralen 
Bildpunkt gelegener Bildpunkte ermoglicht. 

9. Lichtempfindliche Sensoreinheit nach einem der Anspruche 1 bis 8, 
dadurch gekennzeichnet, daft die Bildpunkte fur den Aufbau einer farbfahigen 
Kamera den Grundfarben Rot, Grun und Blau zugeordnet sind, 

daft die Bildpunktanordnung und die Farbzuordnung zu den einzelnen Bildpunkten 
derart gewahlt ist, daft der zentrale Bildpunkt einer Grundfarbe jeweils von Bild- 
punkten der anderen Grundfarben unmittelbar benachbart ist, 
daft die Bildpunkte in einer geometrisch streng zyklischen Abfolge hinsichtlich ihrer 
Farbzuordnung angeordnet sind, 

daft die streng zyklische Abfolge der Farbzuordnung jeweils benachbarter Bildpunkte 
in alien Symmetrierichtungen, die durch die geometrische Anordnung der Bildpunkte 
vorgegeben ist, gegeben ist. 
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10. Lichtempfindliche Sensoreinheit nach einem der Anspruche 7 bis 9, 
dadurch gekennzeichnet, daft die Gewichtungsschaltung eine zweite Gewich- 
tungsstufe aufweist die eine Gewichtung getrennt nach Farbklassen durchfuhrt. 

1 1 . Lichtempfindliche Sensoreinheit nach Anspruch 1 0, 

dadurch gekennzeichnet, daft die Signale der gewichteten Farbklassen getrennt 
voneinander einer Weiterverarbeitungseinheit zugefuhrt wefden, in der zur Bildung 
eines Bildpunktgruppensignals die Signale der einzelnen Farbklassen gewichtet und 
gemittelt werden. 

12. Lichtempfindliche Sensoreinheit nach einem der Anspruche 1 bis 11, 
dadurch gekennzeichnet, daft die Bildpunkte gemaft einer hexagonalen Gitter 
struktur angeordnet sind. 

13. Lichtempfindliche Sensoreinheit nach Anspruch 12, 

dadurch gekennzeichnet, daft die Bildpunkte derart ausgebildet und angeordnet 
sind, daft der Schwerpunkt des zentralen Bildpunktes mit einem gemeinsamen 
Schwerpunkt der, den zentralen Bildpunkt unmittelbar benachbarten Bildpunkte, die 
jeweils der gleichen Farbklasse angehoren, zusammenfallt. 

14. Lichtempfindliche Sensoreinheit nach einem der Anspruche 1 bis 3, 
dadurch gekennzeichnet, daft die Bildpunkte eine quadratische, rechteckige oder 
hexagonale Form aufweisen. 

15. Lichtempfindliche Sensoreinheit nach Anspruch 14, 

dadurch gekennzeichnet, daft die Anordnung der einzelnen Bildpunkte einer Gitter- 
struktur entspricht, die sich aus einer Uberlagerung zweier kammformig ineinan- 
dergeschobener, orthogonaler Gitter ergibt. 

16. Lichtempfindliche Sensoreinheit nach einem der Anspruche 9 bis 15, 
dadurch gekennzeichnet, daft zur Farbzuordnung der Bildpunkte unterschiediiche, 
den Grundfarben entsprechende Filterschichten vorgesehen sinned. 
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17. Lichtempfindliche Sensoreinheit nach einem der Anspruche 1 bis 16, 
dadurch gekennzeichnet, daft die Sensoreinheit aus HDRC-Sensoren zusam- 
mengesetzt ist mit Bildpunkten, deren Ausgangssignale einer logarithmischen 
Kennlinie unterliegen. 

18. Lichtempfindliche Sensoreinheit nach Anspruch 17, 

dadurch gekennzeichnet, daft die HDRC-Sensoren auf einem Tragersubstrat auf- 
gebracht sind und an ihrer dem Tragersubstrat zugewandten Seite eine reflexmin- 
dernde Schicht aufweisen. 

1 9. Lichtempfindliche Sensoreinheit nach einem der Anspruche 1 2 bis 1 8, 
dadurch gekennzeichnet, daft eine Bildpunktgruppe aus einem 7-Tupel besteht, das 
uber 5 spaltenfdrmig angeordnete Leseleitungen und uber 3 zeilenformig angeord- 
nete Selektleitungen verfugt. 

20. Verfahren zum Auslesen- und Auswerten von Bildpunkten in einer lichtemp- 
findliche Sensoreinheit nach einem der Anspruche 9 bis 19, 

dadurch gekennzeichnet, daft eine parallele. zeitgleiche Adressierung von wenig- 
stens einer Gruppe von Bildpunkten vorgenommen wird, die urn einen ausgewahlten 
Bildpunkt, dem zentralen Bildpunkt angeordnet ist, und daft eine Ausleseeinheit zeit- 
gleich die benachbarten Bildpunkte nach Farbklassenzugehorigkeit mit dem zentra- 
len Bildpunkt ausliest. 

21 . Verfahren nach Anspruch 20, 

dadurch gekennzeichnet, daft die Gruppe aus Bildpunkten besteht, die jeweils einen 
gemeinsamen Schwerpunkt aufweisen, der mit dem Schwerpunkt des zentralen 
Bildpunktes ubereinstimmt oder zumindest nahe dem Schwerpunkt des zentralen 
Bildpunktes liegt. 
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22. Verfahren nach Anspruch 20 oder 21 , 

dadurch gekennzeichnet, daft die Bildpunktwerte, der gemeinsam adressierten 
Bildpixel wahrend des Auslesevorganges gemittelt werden. 

23. Verfahren nach einem der Anspruche 20 bis 22. 

dadurch gekennzeichnet. daft durch einen digitaler Dekoder die Bildpunkte gezielt 
adressiert werden. 

24. Verfahren nach Anspruch 23 : 

dadurch gekennzeichnet, daft die Grbfte und Anzahl der zu adressierenden Grup- 
pen von Bildpunkte durch den Dekoder festgelegt wird. 

25. Verfahren nach einem der Anspruche 20 bis 24, 

dadurch gekennzeichnet. daft bei einer Bildpunktanordnung, bei der die Bildpunkte 
einer Zeilen- und Spalteneinteilung unterliegen, alle Bildpunkte in einer Spalte oder 
einer Zeile getrennt jeweils uber eine Spalten- oder Zeilenleitung adressiert werden. 

26. Verfahren nach Anspruch 25, 

dadurch gekennzeichnet, daft einen gezielte und getrennte Adressierung von Spal- 
ten- oder Zeilenleitungen mittels einer Dekoderschaltung erfolgt. 

27. Verfahren nach einem der Anspruche 20 bis 26. 

dadurch gekennzeichnet, daft fur die Adressierung eines weiteren zentralen Bil- 
dunktes in einer vorgegebenen Propagationsrichtung, in Propagationsrichtung neue 
Bildpunkte zu adressieren sind und entgegengesetzt angeordnete Bildpunkte der 
gleichen Farbklasse ersetzt werden. 

28. Verfahren nach einem der Anspruche 20 bis 27, 

dadurch gekennzeichnet, daft zum Auslesen eines zentralen Bildpunktes beliebig 
viele Nachbarschaftsgruppen von Bildpunkten urn den zentralen Bildpunkt herum 
zusatzlich adressiert und ausgelesen werden, die ebenso einer strengen zyklischen 
Abfolge in der Farbzuordnung unterliegen. 
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29. Verfahren nach einem der Anspruche 20 bis 28 t 

dadurch gekennzeichnet daft wahrend des Auslesevorganges mit einer vorgege- 
benen Auslesefrequenz auf jeder Leseleitung eine mit einem einstellbaren Wert 
durchgefuhrte Gewichtung erfolgt. 

30. Verfahren nach Anspruch 29, 

dadurch gekennzeichnet. daft die Gewichtung entsprechend der Anzahl der zeit- 
gleich auf einer Leseleitung adressierten bzw. angeschlossenen Bildpunkte erfolgt. 

31 . Verfahren nach Anspruch 29 oder 30 ; 

dadurch gekennzeichnet. dafi die Gewichtung durch einstellbare Koeffizienten ge- 
trennt fur die Farbklassen durchgefuhrt wird. 
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